![[2024年7月3日号]個人的に気になったModern Data Stack情報まとめ](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-4c47f61cc8c1b97c00c0efcc68eab01b/ebc4f0c0223a249eae2f9de257dedbcd/eyecatch_moderndatastack_1200_630.jpg)
[2024年7月3日号]個人的に気になったModern Data Stack情報まとめ
2024.07.03さがらです。
Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。
そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。
※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。
Data Warehouse/Data Lakehouse
Snowflake
Streamlit in SnowflakeのカスタムUI機能がパブリックプレビュー
Streamlit in Snowflakeの新機能として、Cutsom HTML、CSS、JavaScriptを用いたUIのカスタマイズを行える機能がパブリックプレビューとなりました。
Snowflake Summit 2024の最終日に開催されたDev Dayのまとめ記事
先月行われたSnowflake Summit 2024ですが、最終日にSnowflakeとしては初のDev Dayが開催され、その内容をまとめた記事が出ていました。
私は残念ながらSummitに参加できていなかったのですが、各社からの登壇やコミュニティミートアップイベントまで、様々な催し物があったことがわかりますね！
Onehouse
新しく3500万USDの資金調達を発表
Apache Hudiの創設者がCEOであり、Apache XTableの開発とその技術を用いたUniversal Data Lakehouseのサービスを提供するOnehouse社が、新しく3500万USDの資金調達を行ったことを発表しました。
Onehouseがどういったサービスかについては、下記の公式ページがわかりやすいと思います。
Data Transform
dbt
dbt Meshとdbt Semantic Layerに関する公式のベストプラクティス
こちらの記事によると、最近dbt Meshとdbt Semantic Layerに関する公式のベストプラクティスのページをアップデートしたとのことです。
どちらも以下のリンクから見ることができ、複数のページに渡って構成されています。気になる方はぜひご覧ください。
AutomateDVに関する概要説明記事
dbt Labs社の公式ブログにおいて、Data VaultのモデリングをサポートするパッケージであるAutomateDVに関する概要説明の記事が出ていました。
Data Vaultを学ぶための書籍やオンラインリソースについての紹介も記載されております。
SDF
SDFがOSSとして提供開始
DWH内の変換を担うツールとして、SDFがOSSとして提供開始となりました。
下図は上記のリンクからの引用ですが、dbtと異なりローカルに閉じてコンパイルを行うことができるようです。
Semantic Layer
Cube
AI Assistant機能とSemantic Catalog機能を発表
Cubeが新機能として、Cubeで定義したSemantic Layerに対してシステムのUI上で自然言語で問い合わせを行える「AI Assistant」機能と、Cube上で定義されたオブジェクトとそれを参照するBIコンテンツをまとめて検索・リネージ表示できる「Semantic Catalog」機能を発表しました。
Business Intelligence
全般
2024 Gartner® Magic Quadrant for Analytics and Business Intelligence Platformsが公開
各製品の位置づけを参考にする際に見る人も多いであろう、Gartner® Magic Quadrant for Analytics and Business Intelligence Platformsの2024年版が公開されました。
Google、ThoughtSpotが新たにLEADERSになったことで、両社からブログも公開されています。
2022年と2023年の図と比較したい場合は、下記のQlik社の記事に記載されていますので参考になると思います。
Looker
Tableau DesktopからLookerに接続する方法
私の記事で恐縮ですが、Tableau DesktopからLookerに接続し、Lookerで定義したExploreをTableau Desktopで使用する方法についてまとめました。
気になる点もいくつかありましたが、Lookerを外部ツールから接続するSemantic Layerとして使えるのはとても新鮮で検証していて面白かったですね！
Tableau
2024.2が提供開始
2024年7月1日より、Tableauの各Releaseページにて最新バージョンである2024.2が利用できるようになりました。今回はTableau Serverもリリースされていますね。
2024.2で提供される新機能については下記のページでまとめられています。併せてご覧ください。
Data Catalog
Atlan
循環参照が行われている場合の依存関係をリネージで可視化できるように
Atlanの新機能として、循環参照が行われている場合の依存関係もリネージ上で可視化できるようになりました。
私が知っているデータカタログの中では、初めて見る機能だと思います！たまに循環参照しないといけないパイプラインが必要となりますので、ありがたいですね。
Select Star
Select Starを用いたデータ廃止プロセスの手順まとめ
データ基盤の規模が拡大してくると、不要なデータを廃止することも必要になってくると思います。
廃止するための手順は複雑ですが、Select Starの機能を用いてどのようにデータ廃止を進めることができるかをまとめた記事が出ていました。
Quollio
新しく7.5億円の資金調達を発表
日本発のデータインテリジェンスソリューションを提供するQuollio Technologies社が、新しく7.5億円の資金調達を発表しました。
併せて、CEOの松元氏によりQuollio Technologies社が提供するプロダクトやビジョンについてまとめられた記事が出ていました。
特に以下の記述が私は気になり、こういった観点を持っているQuollio Technologies社が今後どんな機能を提供していくのかとても楽しみです！
データカタログにおける検索ポータルがコモディティ化するのは既に書いた通りだが、データ資産統制に関わる業務周辺の特筆事項については、加えて以下の2つが重要となると見ている。
1.戦略からの優先順位付けとアジャイルの発想が重要
データ資産統制業務で扱うべきビジネスメタデータは膨大であるため、戦略やビジネス要求からの優先順位付けとイタレーションによる改善がより重要になる。膨大な準備を行いリリースする静的なデータガバナンスと違って、これは俗にアジャイル・データガバナンスと呼ばれ、オンデマンド的・マーケットイン的なデータ資産統制の立ち位置を取る。つまりビジネス要求の情報整備が非常に重要。
2.設計によりHuman-in-the-loopを自動化することが重要
上記のみならず、改善フローをプロアクティブ的・プロダクトアウト的に回すことも依然として重要。ここで、ビジネスメタデータ入力業務に関してAI自動生成は強力な補助になるが、保証の観点からドラフト作成に留まる。今後のデータ資産統制では、人間による承認の仕組みをどう組むかが重要であり、前提となる役割や運用フローの設計とシステムへの落とし込みが以前にも増して重要。
Data Activation (Reverse ETL)
Hightouch
Marketing CampaignsとAudience Managersの解説記事
Hightouch社より、一般的な意味合いとしてのMarketing CampaignsとAudience Managersの解説記事が出ていました。
HightouchはDWHと組み合わせてのComposable CDPとして売り出しているため、このあたりのマーケティング用語の解説記事を定期的に出していますね。
Data Orchestration
Prefect
Prefect 3.0を発表
Prefectの新しいメジャーバージョンとして、Prefect 3.0が発表されました。
